No campo da Inteligência Artificial, a modelagem de sequências desloca o foco de instantâneos estáticos para fluxos temporais. Tarefas comuns de aprendizado de máquina frequentemente assumem que os pontos de dados são Independentes e Identicamente Distribuídos (IID), o que significa que a ordem das amostras não influencia o resultado.
A modelagem de sequências rejeita explicitamente essa premissa, concentrando-se em três pilares fundamentais:
- Violação da Invariância à Permutação: Em dados tabulares, a ordem das colunas é arbitrária. Em sequências, a ordem é a característica principal. Trocar "The cat ate the rat" por "The rat ate the cat" altera fundamentalmente a verdade semântica de referência apesar dos tokens idênticos.
- Autorregressivas Propriedades: Assumimos que uma observação no tempo $t$ está matematicamente condicionada ao seu histórico ($t-1, t-2, \dots, 1$). Isso exige probabilidades de transição para capturar como a informação evolui.
- Mapeamento de Comprimento Variável: Diferentemente de grades fixas de 28x28 pixels, sequências como frases ou ondas sísmicas são elásticas. Os modelos devem processar entradas de comprimento $N$ e produzir saídas de comprimento $M$ usando parâmetros consistentes.